The Clustering Strikes Back: Building Cost-Effective and High-Performance ANNS at Scale with Helmsman
聚类反击：用Helmsman构建高性价比大规模向量检索系统
🧭 近似最近邻搜索 · 聚类索引系统优化
East China Normal University · Shanghai Jiaotong University · Xiaohongshu Inc
用聚类索引+用户态闪存栈+学习型剪枝+GPU加速，替代全内存HNSW，成本降90%且维持高性能
📌 工作参考价值（4 点）
- 当向量库规模导致全内存HNSW成本不可接受时，可参考聚类+全闪存架构，利用用户态I/O栈（如SPDK）消除内核开销，大幅降低硬件投入的同时满足低延迟SLA。
- 学习型剪枝（leveling-learned pruning）思路可用于多级检索系统：动态预测每层需扫描的聚类数量，避免固定剪枝造成的精度损失或冗余计算，可迁移到推荐召回的分层索引中。
- GPU加速索引构建流水线使十亿级索引能在小时内重建，适合电商场景下频繁全量/增量更新需求，缩短模型到上线的延迟。
- 系统层面将ANNS负载从数万核CPU+大内存下沉到少量闪存机器，对团队评估检索架构演进方向有直接参考价值：优先考虑存储优化和计算下推，而非线性堆资源。